#Reinforcement Fine-Tuning

4 篇

SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation

SignRAG：面向无标注手语翻译的统一检索增强框架

🧭 手语多模态翻译 · RAG 与强化微调

Macau University of Science and Technology · University of Macau · Institute of Automation, Chinese Academy of Sciences · Yale University · VIVO AI Lab

提出SignRAG，结合分层预训练、目标域检索增强与检索效用强化微调，首次在CSL-Daily全指标超越基于标注的手语翻译方法

📌 工作参考价值（4 点）

将“目标域检索库”视为业务内高质量少样本池：为特定商品类目或活动页建立小型 retrieval gallery，推理时注入 top-k 实例，可减少全量参数微调成本。
RUG-RFT 的“检索效用奖励”值得迁移：用质量+效用双 reward 训练模型分辨哪些检索结果是正/负干扰，可用于推荐解释生成、Agent 工具调用路径选择等场景。
分层对齐思路可复用：先学习视觉/文本模态对齐，再与 LLM 联合训练，能缓解跨模态优化不平衡；在多模态商品表示接 LLM 时可参考。
无 gloss 超越有监督结果说明：检索增强+弱监督可能替代昂贵结构化标注，在商品属性补全、Query 改写等任务中可尝试。

Multimodal | 2026-10-08 | cs.MM | score 6/10

TLive-Omni: An Omni-Modal Understanding Model for E-Commerce Live Streaming

TLive-Omni：面向电商直播的全模态理解模型

🧭 多模态大模型 · 电商直播理解

Taobao & Tmall Group of Alibaba

面向电商直播的全模态理解模型，通过三阶段监督训练和 Faithful-RFT 强化微调，实现长时多模态流的准确实时理解

📌 工作参考价值（4 点）

直播场景中商品信息分散在语音、视频帧、商品图、叠加文字和用户 query，可借鉴 Per-vGrid 时间戳 token 组织：将视频 grid 与对应的音频段放在显式边界 token 内，强化时序对齐，适合长视频理解任务。
Faithful-RFT 强化微调思路值得迁移：直接对最终答案使用任务可验证反馈打分，而不在 rollout 过程中优化推理式探索，能平衡答案忠实度与实时响应，对电商推荐/客服等延迟敏感场景有参考价值。
数据生产引擎将直播音视频流自动转为 ASR、说话人分析、视觉 grounding、OCR、时序 grounding、dense caption、全模态 QA 等原子能力训练信号，可复用到电商内容理解、商品属性抽取与标注。
工程实现上，同步长度分组采样减少 padding 且保持多 worker 负载均衡，轻量动态采样保持 GRPO 相对优势，对大规模多模态训练有实用参考。

Multimodal | 2026-08-20 | HF Daily | score 7/10

Omni-modal E-commerce Live Streaming Reinforcement Fine-Tuning Video Understanding GRPO

Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training

推荐基础模型的渐进式多阶段后训练与业务对齐

🧭 推荐基础模型的渐进后训练与奖励对齐 ★ 深度解读

NAVER WEBTOON

通过三阶段渐进后训练（LP→FFT→RFT）分离适配与对齐，用奖励模型引导策略优化，显著提升深度业务指标

📌 工作参考价值（4 点）

当基础模型适配下游任务时，先做线性探测（LP）冻结骨干训练 Task Head，再做全参数微调（FFT），并使用差异化学习率（骨干学习率 1/10），可有效缓解灾难性遗忘，稳定适配过程。
不要直接将面向业务指标的奖励模型作为排序策略部署；将其作为 RFT 的对齐信号，对基于密集隐式反馈（如点击）训练的排序策略进行 fine-tune，既能提升深层业务指标，又保持强排序能力。
奖励模型训练时，利用倾向得分（IPS）加权矫正曝光偏差，并用序数回归（Ordinal Regression）将多级漏斗转化为连续奖励分数，可作为电商推荐中多阶段转化（浏览→加购→下单→支付）等长周期目标的通用建模方式。
在线上系统上线新模型时，可采用 GRPO 做奖励对齐，其在深度参与指标上优于 DPO；若偏好信号密集且可靠（如基于实际漏斗阶段），DPO 也可作为轻量替代，尤其适合提升即时点击行为。

RecSys | 2026-08-07 | cs.IR | score 9/10

Foundation Model Progressive Fine-Tuning Reinforcement Fine-Tuning Reward Modeling GRPO Online A-B Test

Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning

通过检索增强强化微调学习类比推理

🧭 检索增强的强化微调与推理效用学习 ★ 深度解读

Meta Superintelligence Labs · Rice University

提出 RA-RFT，用推理效用蒸馏检索器，并在强化微调中注入类比演示，大幅提升数学推理性能

📌 工作参考价值（4 点）

检索应面向任务效用而非表面相似：在电商推荐中，传统的语义相似召回可能带不来转化或点击，可用 judge 模型离线蒸馏“转化效用”标签，训练检索器优先召回能提升下游任务（如购买）的 item，而不只是语义相关。
强化学习训练时可注入类比案例：在对话 Agent、多智体协作等 RL 训练中，可将历史成功轨迹作为演示（类比），以少量上下文形式注入，提高奖励信号密度，加速策略学习，方法可套用 RA-RFT 的"检索-蒸馏-注入"流程。
多向量检索更适合结构级匹配：使用 ColBERT 等 late-interaction 模型捕捉推理结构或交互模式，适用于需要挖掘行为序列相似性的场景，如推荐中的 session 匹配、用户轨迹类比。
训练目标决定检索增益：仅做 SFT 时检索增益微弱，须配合让模型主动探索并选择性利用外部信息的训练范式（如 RLVR），这提示在将 RAG 融入推荐 agent 训练时，要用生成式奖励而非固定目标的监督学习。

Training | 2026-06-11 | cs.CL | score 8/10

RAG Reinforcement Fine-Tuning Analogy Reasoning Mathematical Reasoning RLVR Contrastive Learning